Price decomposition in large-scale stochastic optimal control

We are interested in optimally driving a dynamical system that can be influenced by exogenous noises. This is generally called a Stochastic Optimal Control (SOC) problem and the Dynamic Programming (DP) principle is the natural way of solving it. Unfortunately, DP faces the so-called curse of dimensionality: the complexity of solving DP equations grows exponentially with the dimension of the information variable that is sufficient to take optimal decisions (the state variable). For a large class of SOC problems, which includes important practical problems, we propose an original way of obtaining strategies to drive the system. The algorithm we introduce is based on Lagrangian relaxation, of which the application to decomposition is well-known in the deterministic framework. However, its application to such closed-loop problems is not straightforward and an additional statistical approximation concerning the dual process is needed. We give a convergence proof, that derives directly from classical results concerning duality in optimization, and enlghten the error made by our approximation. Numerical results are also provided, on a large-scale SOC problem. This idea extends the original DADP algorithm that was presented by Barty, Carpentier and Girardeau (2010)

Sensitivity analysis for the outages of nuclear power plants

International audienceNuclear power plants must be regularly shut down in order to perform refueling and maintenance operations. The scheduling of the outages is the first problem to be solved in electricity production management. It is a hard combinatorial problem for which an exact solving is impossible. Our approach consists in modelling the problem by a two-level problem. First, we fix a feasible schedule of the dates of the outages. Then, we solve a low-level problem of optimization of elecricity production, by respecting the initial planning. In our model, the low-level problem is a deterministic convex optimal control problem. Given the set of solutions and Lagrange multipliers of the low-level problem, we can perform a sensitivity analysis with respect to dates of the outages. The approximation of the value function which is obtained could be used for the optimization of the schedule with a local search algorithm.Les centrales nucléaires doivent être régulièrement arrêtées afin de réaliser des opérations de maintenance et de rechargement en combustible nucléaire. La planification de ces arrêts constitue le premier problème à résoudre en gestion de la production d'électricité. C'est un problème combinatoire difficile qui ne peut être résolu exactement. Notre approche consiste à modéliser ce problème par un problème à deux niveaux. Tout d'abord, nous fixons un calendrier admissible des dates des arrêts des centrales. Puis, nous résolvons un sous-problème de production d'électricité, en respectant le calendrier initial. Dans notre modèle, ce sous-problème est un problème de contrôle optimal déterministe et convexe. Etant donnés les solutions et multiplicateurs de Lagrange du sous-problème, nous pouvons réaliser une analyse de sensibilité par rapport aux dates des arrêts. L'approximation de la fonction valeur que nous obtenons devrait permettre de mettre en place un algorithme de recherche locale pour l'optimisation de ces dates d'arrêts

Decomposition of large-scale stochastic optimal control problems

In this paper, we present an Uzawa-based heuristic that is adapted to some type of stochastic optimal control problems. More precisely, we consider dynamical systems that can be divided into small-scale independent subsystems, though linked through a static almost sure coupling constraint at each time step. This type of problem is common in production/portfolio management where subsystems are, for instance, power units, and one has to supply a stochastic power demand at each time step. We outline the framework of our approach and present promising numerical results on a simplified power management problem

Contributions à la discretisation des contraintes de mesurabilité pour les problèmes d'optimisation stochastique

Our attention has been concentrated on various aspects of stochastic optimization problems which, according to our knowledge, have not been studied enough.Therefore first we shall be interested in the problem relative to the dual effect, afterwards in the discretization of the measurability constraints, in static information problem's numerical resolution and finally we shall study a stochastic optimization problem's optimality conditions with the purpose of searching for a better comprehension of the way which intervenes the measurability constraint in the optimal solution(s) characterization.Our problem's numerical approach is original of two points of view : it uses (the) topologies over the space of sigma-fields in order to measure the information loss ought to the measurability constraint's discretization . Furthermore the study of this space has brought in new results which constitue essential elements of our research.We show that the discretization error results from the contribution of two other error terms : one resulting from the discretization of the measurability constraint and of another resulting from the approximation of the expectation.In this paper we give asymptotical convergence results of a series of discrete problems towards the original problem.For the same particular problem we obtain as well Lipschitz type results over the value function. Moreover by studying the optimality conditions we obtain two different possible ways of approaching a stochastic optimal control problemNous nous sommes penchés sur différents aspects des problèmesd'optimisation stochastique qui, à notre connaissance, ont été peuétudiés. Ainsi, nous nous sommes intéressés au problème de l'effet dual,puis à la discrétisation des contraintes de mesurabilité, à larésolution numérique de problèmes avec contraintes en information statique et enfin,nous avons étudié les conditions d'optimalité d'un problèmed'optimisation stochastique, le but recherché étant de mieuxcomprendre comment intervient la contrainte de mesurabilité dans lacaractérisation de la (ou des) solution(s) optimale(s). Notre approchenumérique du problème est originale de deux points de vue :Elle utilise les topologies sur l'espace des sigma-algèbres pour mesurer la perte d'information due à la discrétisation de la contrainte de mesurabilité. L'étude de cet espace nous a permis entre autres d'apporter de nouveaux résultats qui constituent des éléments essentiels dans notre étude~;Nous montrons que l'erreur de discrétisation provient de la contribution de deux termes d'erreur : une erreur issue de la discrétisation de la contrainte de mesurabilité et une autre erreur issue de l'approximation de l'espérance.Nous donnons dans ce mémoire des résultats asymptotiques deconvergence d'une suite de problèmes discrets vers le problèmed'origine. Nous avons également, sur des problèmes particuliers, desrésultats de type Lipschitz sur la fonction valeur. Par ailleurs,l'étude des conditions d'optimalité nous a permis d'obtenir deuxpossibilités différentes d'approche d'un problème de commande optimalestochastique

A Stochastic Gradient Type Algorithm for Closed Loop Problems

We focus on solving closed-loop stochastic problems, and propose a perturbed gradient algorithm to achieve this goal. The main hurdle in such problems is the fact that the control variables are infinite dimensional, and have hence to be represented in a finite way in order to numerically solve the problem. In the same way, the gradient of the criterion is itself an infinite dimensional object. Our algorithm replaces this exact (and unknown) gradient by a perturbed one, which consists in the product of the true gradient evaluated at a random point and a kernel function which extends this gradient to the neighbourhood of the random point. Proceeding this way, we explore the whole space iteration after iteration through random points. Since each kernel function is perfectly known by a finite (and small) number of parameters, say N, the control at iteration k is perfectly known as an infinite dimensional object by at most N x k parameters.The main strength of this method is that it avoids any discretization of the underlying space, provided that we can draw as many points as needed in this space. Hence, we can take into account in a new way the possible measurability constraints of the problem.Moreover, the randomization of this algorithm implies that the most probable parts of the space are the most explored ones, what is a priori an interesting feature.In this paper, we first show a convergence result of this algorithm in the general case, and then give a few numerical examples showing the interest of this method for solving practical stochastic optimization problems

Contributions à la discrétisation des contraintes de mesurabilité pour les problèmes d'optimisation stochastique

MARNE-LA-VALLEE-ENPC-BIBL. (774682303) / SudocSudocFranceF

Approches génériques pour calculer le plan de production des procédés d'un smart grid

International audienceLe souhait d'augmenter la part des énergies renouvelables dans le mix énergétique entraine une augmentation des parts des énergies non pilotables. Une façon d'intégrer ces énergies dans le réseau électrique actuel est de moduler la courbe de charge en utilisant des procédés regroupés au sein d'un smart grid. Afin de piloter ce dernier comme une centrale classique il est nécessaire de déterminer son plan de production, ce qui implique de calculer très rapidement le plan de production de chacun de ses procédés. L'objectif principal de cette étude est donc de calculer le plan de production optimal de n'importe quel type de procédé en moins d'une minute, de façon à maximiser son gain en fonction d'un signal de prix reçu. Les procédés peuvent être classés en six groupes : les procédés de production pilotable, de consommation pilotable, de déplacement de production non pilotable, de consommation non pilotable, de stockage, et de déplacement de consommation pilotable. Suivant leur nature, ces procédés ont des caractéristiques différentes et peuvent être soumis à diverses contraintes.  Nous proposons un modèle générique de programmation par contraintes (PPC) et un modèle générique de programmation linéaire en nombres entiers (PLNE). Les résultats montrent que les premières solutions trouvées par le solveur de PLNE sont très éloignées de l'optimum, alors que la méthode de PPC fournit très rapidement de bonnes solutions. En utilisant la PPC afin de trouver une solution initiale pour le solveur de PLNE, les résultats sont nettement améliorés : le gap moyen pour la combinaison des deux méthodes est de 1,79 % contre 5,73 % pour la PPC et 6,03 % pour la PLNE, et 52 % des problèmes sont résolus en moins d'une minute.</p

Dual effect free stochastic controls

In stochastic optimal control, a key issue is the fact that "solutions" are searched for in terms of "feedback" over available information and, as a consequence, a major potential difficulty is the fact that present control may affect future available information. This is known as the "dual effect" of control.Given a minimal framework (that is, an observation mapping from the product of a control set and of a random set towards an observation set), we define open-loop lack of dual effect as the property that the information provided by observations under open-loop control laws is fixed, whatever the open-loop control. Our main result consists in characterizing the maximal set of closed-loop control laws for which the information provided by observations closed with such a feedback remains also fixed.We then address the multi-agent case. To obtain a comparable result, we are led to generalize the precedence and memory-communication binary relations introduced by Ho and Chu for the LQG problem, and to assume that the precedence relation is compatible with the memory-communication relation.When the precedence relation induces an acyclic graph, we prove that, when open-loop lack of dual effect holds, the maximal set of closed-loop control laws for which the information provided by observations closed with such a feedback remains fixed is the set of feedbacks measurable with respect to this fixed information. We end by studying the dual effect for discrete time stochastic input-output systems with dynamic information structure, for which the same result holds